使用 GoAccess 分析 Nginx 日志 |
您所在的位置：网站首页 › shell nginx耗时排序 › 使用 GoAccess 分析 Nginx 日志 |
使用 GoAccess 分析 Nginx 日志
 GoAccess 是一款开源的且具有交互视图界面的实时 Web 日志分析工具，通过你的 Web 浏览器或者 *nix 系统下的终端程序 (Terminal) 即可访问。 GoAccess 能为系统管理员提供快速且有价值的 HTTP 访问统计，并以在线可视化服务器的方式呈现。 GoAccess 官网：https://goaccess.io  安装 GoAccess1. 通过包管理器安装 Debian / Ubuntu$ echo "deb http://deb.goaccess.io/ $(lsb_release -cs) main" | sudo tee -a /etc/apt/sources.list.d/goaccess.list $ wget -O - https://deb.goaccess.io/gnugpg.key | sudo apt-key add - $ sudo apt-get update $ sudo apt-get install goaccessFedora $ yum install goaccessArch Linux $ pacman -S goaccessGentoo $ emerge net-analyzer/goaccessOS X / Homebrew $ brew install goaccess2. 通过源代码安装 这里以 CentOS / RHEL 为例，其它版本方法也基本类似，区别在于需安装依赖软件包的包名不同而已。 安装依赖软件包$ yum install glib2 glib2-devel GeoIP-devel ncurses-devel zlib zlib-devel编译安装 GoAccess$ wget https://tar.goaccess.io/goaccess-1.3.tar.gz $ tar -xzvf goaccess-1.3.tar.gz $ cd goaccess-1.3/ $ ./configure --enable-utf8 --enable-geoip=legacy $ make $ make install更多安装方式，可参考官方文档：https://goaccess.io/download#installation GoAccess 常用命令参数 $ goaccess -h -a --agent-list 启用由主机用户代理的列表。为了更快的解析，不启用该项。 -d --with-output-resolver 在 HTML/JSON 输出中开启 IP 解析，会使用 GeoIP 来进行 IP 解析。 -f --log-file 需要分析的日志文件路径。 -p --config-file 配置文件路径。 -o --output 输出格式，支持。html、json、csv。 -m --with-mouse 控制面板支持鼠标点击。 -q --no-query-string 忽略请求的参数部分。 --real-time-html 实时生成 HTML 报告。 --daemonize 守护进程模式，--real-time-html 时使用。配置 GoAccessGoAccess 的主要配置文件为 goaccess.conf，主要配置参数有以下几项： time-format %H:%M:%S date-format %d/%b/%Y log-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u"其中的 log-format 与 Nginx 日志 access.log 中的 log_format 格式对应，每个参数以空格或者制表符分割。参数说明如下： %t 匹配 time-format 格式的时间字段 %d 匹配 date-format 格式的日期字段 %h host(客户端 ip 地址，包括 ipv4 和 ipv6) %r 来自客户端的请求行 %m 请求的方法 %U URL 路径 %H 请求协议 %s 服务器响应的状态码 %b 服务器返回的内容大小 %R HTTP 请求头的 referer字段 %u 用户代理的 HTTP 请求报头 %D 请求所花费的时间，单位微秒 %T 请求所花费的时间，单位秒 %^ 忽略这一字段使用 GoAccess 基本用法 1. 在终端模式下运行 GoAccess $ goaccess -a -d -f /var/log/nginx/hi-linux.com.access.log -p /etc/goaccess.conf第一次使用 GoAccess 的时候，会弹出下面的对话框，要求配置 access_log 的时间和日志格式。 Nginx 默认的日志格式就是 NCSA, 所以一般就选第一个就可以了。  日志格式选中 NCSA Combined Log Format 并回车后， GoAccess 分析日志完成后会在终端上显示分析结果。 控制台下 GoAccess 的操作方法 F1 主帮助页面 F5 重绘主窗口 q 退出 1-15 跳转到对应编号的模块位置 o 打开当前模块的详细视图 j 当前模块向下滚动 k 当前模块向上滚动 s 对模块排序 / 在所有模块中搜索匹配 n 查找下一个出现的位置 g 移动到第一个模块顶部 G 移动到最后一个模块底部2. 在 HTML 模式下运行 GoAccess默认情况下，GoAccess 是运行在控制台模式下的，也就是在命令行里直接输出结果。 为了更方便的访问分析结果，我们可以通过 GoAccess 的 HTML 模式将分析结果页面保存为 HTML，然后通过浏览器访问。 要让 GoAccess 在 HTML 模式下运行，我们则需要配置下 GoAccess 的配置文件。 $ cat goaccess.conf time-format %H:%M:%S date-format %d/%b/%Y log-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u"通过命令行运行 GoAccess 的 HTML 模式$ goaccess -a -d -f /var/log/nginx/hi-linux.com.access.log -p /etc/goaccess.conf -o /var/log/nginx/goaccess.html 通过 Daemonize 模式运行 GoAccess 的 HTML 模式在命令行下运行 GoAccess 的 HTML 模式所产生分析结果文件并不是实时的，如果我们要产生实时的 HTML 分析页面又应该如何做呢？ GoAccess 已经为我们考虑到这点了，我们可以以 Daemonize 模式来运行，并提供创建实时 HTML 的功能。要实时输出 HTML 格式的分析结果，只需要在启动命令时加入 --real-time-html 和 --daemonize 参数即可。 $ goaccess -a -d -f /var/log/nginx/hi-linux.com.access.log -p /etc/goaccess.conf -o /var/log/nginx/goaccess.html --real-time-html --daemonize以守护进程启动 GoAccess 后，使用 Websocket 建立了长连接。它默认监听 7890 端口，如果需要自定义，可以通过 --port 参数指定端口号。 # 查看 GoAccess 的监听端口 7890 $ netstat -tunpl | grep "goaccess" tcp 0 0 0.0.0.0:7890 0.0.0.0:* LISTEN 21136/goaccess通过 Crontab 运行 GoAccess 的 HTML 模式在某些场景下，也许我们没有这样高的实时性要求，也可以采用 Crontab 机制来实现定时更新 HTML 报表。 $ crontab -e # 每 30 分钟执行 30 * * * * goaccess -a -d -f /var/log/nginx/hi-linux.com.access.log -p /etc/goaccess.conf -o /var/log/nginx/goaccess.html 2> /var/log/nginx/goaccess.log高级用法让 GoAccess 支持自定义的日志格式GoAccess 也是支持日志格式定制的，比如现在绝大部分 Nginx 可能都会包括 vhost，即一个物理 Nginx 服务器可以支持多个域名的虚拟主机，但是 Nginx 默认的 NCSA 日志格式在 /etc/nginx/nginx.conf 配置中是不包括 vhost 字段, 所以我们就无法在报表中区分不同虚拟主机的请求。 Nginx 默认的 NCSA 日志格式 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" ';为了支持 vhost，可以 Nginx 的 log_format 定制成下面这个样子, 主要是添加了 $server_name 字段用来显示 vhost, 还有末尾的 $xxx_time, 用来显示每个请求的耗时。 log_format main '[$time_local] $remote_addr $server_name "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" ' '$upstream_addr $request_time $upstream_response_time';为了让 GoAccess 能适配这个格式，需要将 goaccess.conf 中修改成如下格式： # NCSA Combined Log Format log-format %^[%d:%t %^] %h %v "%r" %s %b "%R" "%u"其中，具体的指示符号可以参考 GoAccess 的官方文档, 比如 %^ 代表忽略对应的字段。 通过管道让 GoAccess 更灵活的处理输入GoAccess 还可以从管道支持输入，这样可以做一些更灵活的处理。比如：access_log 日志中的 request 字段并不包括 server_name。为了让 request 能够包含完整的 url, 我们可以用下面的命令： $ awk '$6=$4$6' access.log | goaccess -a -因为 awk 的第 4 列包含了 server_name, 这个命令将 server_name 放到了 request 的前面组成了完整的 url，再将结果用作 GoAccess 的输入。 参考文档 https://www.google.com http://t.cn/RKwsKkv http://t.cn/E9UFxfF http://t.cn/E9Usnb1 http://t.cn/E94vqcJ http://t.cn/E9473TF |
【本文地址】
今日新闻 |
推荐新闻 |